mixpanelのコホートをBigQueryにエクスポートする

mixpanelで作ったコホートをWebhookとCloud Functions使ってBigQueryに書き出すよん。

マーテック(MarTech)

#mixpanel

#Google Cloud Functions

#Google BigQuery

國崎

2023.10.04

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

ミックスパネラーの國崎です。
今回はmixpanelで作成したコホートをWebhookとCloud Functionsを使ってBigQueryにエクスポートするという知っておくとちょっと便利な技術をお伝えします。

前提条件

mixpanelでコホートを作れる環境である
mixpanelでコホートをエクスポートできる権限がある
今回使うWebhookはWebhook Relay
Google Cloudのプロジェクト設定は完了している

全体の作業の流れ

全体の作業の流れとしては以下になります。

mixpanelでコホートを作成する
Webhook Relayでバケットを作成する
BigQueryでテーブルの作成をする
Cloud FunctionsでBigQueryへの連携をする
Webhook RelayでCloud FunctionsのURLを設定する
mixpanelでWebhook Relayバケットの連携をする
BigQueryにコホートが入ったか確認する

上記に挙げた項目の中には別記事で詳しいやり方を書いてるものもあるので、それらの記事の案内と合わせて本記事では全体の作業をお伝えします。

やってみる

mixpanelでコホートを作成する

mixpanelのコホートについては以下記事で案内をしているので、以下を参照ください。

mixpanelのコホートの作成方法・使い方を解説！

Webhook Relayでバケットを作成する

今回はWebhook Relayを使います。
使う理由としては無料でWebhookにエクスポートされたコホートを転送できる機能があったので選びました。

Webhook Relayを初めて使う方は右上のSign upからアカウントを作成ください。

アカウント作成の際に入力したメールアドレスにメールが届くので、確認後再度Webhook Relayに遷移し、左メニュー>Access Tokensをクリック。

CREATE TOKENをクリックしてAccess Tokensを作成。

次にバケットを作成するので左メニュー>Bucketsをクリック。

NEW EMPTY BUCKETをクリックし、バケットを作成します。

作成されたバケットのAuthenticationに先ほど作成したAccess Tokensを設定します。

作成されたバケットのInputsにあるDefault public endpointをクリック。

CUSTOM RESPONSEのタブ内にあるHeader/ValueをContent-Type: application/jsonで保存。

SETTINGのタブ内にあるURLは「mixpanelでWebhook Relayバケットの連携をする」で使うので、コピーして保存しておきます。

BigQueryでテーブルの作成をする

次にBigQueryでテーブルの作成をします。
今回は以下の感じでテーブルを作ってみました。

CREATE TABLE `プロジェクト名.データセット名.テーブル名` (
    email STRING,
    mixpanel_distinct_id STRING,
    first_name STRING,
    last_name STRING,
    action STRING,
    mixpanel_project_id STRING,
    mixpanel_cohort_id STRING,
    mixpanel_cohort_name STRING,
    mixpanel_cohort_description STRING,
    mixpanel_session_id STRING,
    page_info_total_pages INT64,
    page_info_page_count INT64
);

テーブルを作成したらCloud FunctionsでWebhook RelayバケットをBigQueryに連携させる作業を行なっていきます。

Cloud FunctionsでBigQueryへの連携をする

Cloud Functionsで以下の設定を行います。

第一世代
トリガー…HTTP
ランタイム…Node.js 20
エントリポイント…任意の名前
ソースコード…インラインエディタ

index.js

const express = require('express');
const bodyParser = require('body-parser');
const { BigQuery } = require('@google-cloud/bigquery');

const app = express();
app.use(bodyParser.json());

app.get('/', (req, res) => {
    res.status(200).send("Hello, this is エントリポイントの名前 function!");
});

app.post('/', async (req, res) => {
    const bigquery = new BigQuery();
    const datasetId = 'データセット名';
    const tableId = 'テーブル名';

    const requestBody = req.body;
    const rows = requestBody.parameters.members.map(member => ({
        email: member.email,
        mixpanel_distinct_id: member.mixpanel_distinct_id,
        first_name: member.first_name,
        last_name: member.last_name,
        action: requestBody.action,
        mixpanel_project_id: requestBody.parameters.mixpanel_project_id,
        mixpanel_cohort_id: requestBody.parameters.mixpanel_cohort_id,
        mixpanel_cohort_name: requestBody.parameters.mixpanel_cohort_name,
        mixpanel_cohort_description: requestBody.parameters.mixpanel_cohort_description,
        mixpanel_session_id: requestBody.parameters.mixpanel_session_id,
        page_info_total_pages: requestBody.parameters.page_info.total_pages,
        page_info_page_count: requestBody.parameters.page_info.page_count
    }));

    try {
        await bigquery.dataset(datasetId).table(tableId).insert(rows);
        res.status(200).send('Success');
    } catch (error) {
        res.status(500).send('Failed to process request');
    }
});

exports.エントリポイントの名前 = app;

package.json

{
  "name": "mixpanel-webhook-to-bigquery",
  "version": "1.0.0",
  "description": "Google Cloud Function to save Mixpanel webhook data to BigQuery",
  "main": "index.js",
  "scripts": {
    "start": "node index.js"
  },
  "dependencies": {
    "@google-cloud/bigquery": "^5.9.0",
    "express": "^4.17.1",
    "body-parser": "^1.19.0"
  }
}

トリガーに表示されているHTTPのURLは「Webhook RelayでCloud FunctionsのURLを設定する」で使うのでコピーして保存しておきます。